本アプリはTextAlive App APIとAI(大規模言語モデル)の力を借りて、歌詞の意味を汲み取ってリリックビデオを動的に生成します。
初音ミク「マジカルミライ 2024」 プログラミング・コンテスト課題曲だけでなく、Songleに音楽地図、TextAlive App APIに歌詞情報が登録された任意の曲に対応できます。
歌詞の解析に用いるAIとして、デフォルトではWebGPUに対応したブラウザ上で動作するWebLLMを経由してLlama 3を使用します。推奨環境はパソコン上の Google Chromeです。
代わりに、お手持ちのOpen AIのAPIキーを入力することで、Open AI GPT-4oを使用することもできます。
注意: APIキーは慎重に扱ってください。公開の場では入力しないようご注意ください。
Open AIによる推論の通信はブラウザとOpen AIの間で完結し、キーがそれ以外のサーバへ送信されることはありません。
＊ 課題曲については事前に解析したデータを使用するため、GPUやOpen AIのキーがない環境でも再生できます。
「Rhyme Traveler」は初音ミク「マジカルミライ 2024」 プログラミング・コンテストの応募作品です。
歌詞の意味を解析し、その内容に合わせたリリックビデオを生成します。
TextAliveのApp APIを使用しています。
本アプリはTextAlive App APIとAI(大規模言語モデル)の力を借りて、歌詞の意味を汲み取ってリリックビデオを動的に生成します。
初音ミク「マジカルミライ 2024」 プログラミング・コンテスト課題曲だけでなく、Songleに音楽地図、TextAlive App APIに歌詞情報が登録された任意の曲に対応できます。
歌詞の解析に用いるAIとして、デフォルトではWebGPUに対応したブラウザ上で動作するWebLLMを経由してLlama 3を使用します。推奨環境はパソコン上の Google Chromeです。
代わりに、お手持ちのOpen AIのAPIキーを入力することで、Open AI GPT-4oを使用することもできます。
注意: APIキーは慎重に扱ってください。公開の場では入力しないようご注意ください。
Open AIによる推論の通信はブラウザとOpen AIの間で完結し、キーがそれ以外のサーバへ送信されることはありません。
＊ 課題曲については事前に解析したデータを使用するため、GPUやOpen AIのキーがない環境でも再生できます。
横向きにしてください
聴きたい曲を選んでください